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(g) Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera 
(§) Die Erftndung betrifft ein Verfahren zum Korrigieren der 
Grauwerte von Bildern einer digitalen Infrarot-Kamera 
mit einem zweidimensionalen Detektor. Zunachst wird 
eine stationare Korrektur an einer Referenzquelle durch- 
gefuhrt und dabei werden Korrekturkoeffizienten ermit- 
telt. Zur statlonaren Korrektur wird eine mittlere Grau- 
wertkennlinie U^jtteiCT) fur den Detektor bestlmmt und 
durch den Vergleich mit der Grauwertkennlinie Uj(T) fur 
jeden Bildpunkt j des zweidimensionalen Detektors Kor- 
rekturkoeffizienten fur jeden Bildpunkt j ermittelt Dafiir 
wird ein ntchtlinearer Ansatz zur Anpassung der Grau- 
wertkennlinie Uj(T) eines jeden Bildpunktes an die mittle- 
re Grauwertkennlinie Umittei<"n verwendet. Die Korrektur- 
koeffizienten werden in einem Speicher zur Korrektur der 
einzelnen Grauwerte U^jedes Bildpunktes j wahrend dem 
Betreiben abgelegt. Wahrend dem Betreiben werden die 
Korrekturkoeffizienten dynamisch verbessert. Dazu wer- 
den die Grauwerte Uj eines Bildes erfaf^t und die Grau- 
werte Uj des Bildes ourch einen lokal wirkenden adapti- 
ven Filter gefiltert. AnschlieRend wird der verbleibende 
Abbildungsfehler mit Hilfe der Grauwerte Uj des ungefil- 
terten Bildes und der Grauwerte F(U:) des gefilterten Bil- 
des bestimmt und die Korrekturkoeffizienten mit Hilfe des 
ermittelten verbleibenden Abbildungsfehlers verbessert. 
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Beschreibung 

Die AIM AEG Infrarot Module GmbH fertigt seit den siebziger Jahren hochwertige Infirarotdetektoren mit den dazu- 
gehorigen Komponenten wie Kuhler und Ausleseelektronik. Eingesetzt werden die Detektoren im militarischen Bereich, 
5 in Forschung, Medizin und Industrie. Bei den Detektoren der neuesten Generation sind die Einzelelemente in einer zwei- 
diraensionalen Struktur in der Flache angeordnet und benotigen keinen mechanischen Scanner zur Bilderzeugung mehc 
Bei dem zweidimensionalen Detektor kann eine Szene direkt durch eine geeignete Optik auf den photosensitiven Chip 
abgebildet werden. Die Einzelelemente werden seriell ausgelesen und durch die weitere elekttonische Datenverarbeitung 
wieder zu einer zweidimensionalen Datenstruktur, einem Bild, zusammengesetzL 
10 Durch die technologisch bedingte Inhomogenitat des Detektors in den Einzelelementen entsteht ein Abbildungsfehlec 
Es treten sowohl zeitinvariante als auch zeitvariante Inhomogenitaten auf. Bei den bisherigen Zeilenkameras mit einer 
eindimensionalen Detektorstruktur ist das Problem dadurch gelost, daB der Detektor beim Abscannen der Szene regel- 
massig in eine Referenzquelle schaut, und dann mit dieser Information neu kalibriert wird. Dieses Verfahren ist ubertra- 
gen auf einen Detektor mit einer zweidimensionalen Struktur wegen des grossen Aufwandes in der Praxis nicht durch- 
"^ts fulubar. Die Koireklur der zeiiinvariaiiten Inhomogeni taten bei zweidimensionalen Detektoren kann durch eine einma- 
iige Kalibrierung an einer thermischen Referenzquelle erfolgen. Es ware weiterhin moglich, die zeitvarianten Inhomo- 
genitaten dann durch eine Nachkalibrierung an einer thermischen Referenzquelle durch den Anwender durchfiihren zu 
lassen. Diesen Aufwand gilt es zu vermeiden. 

Aus der EP 0 601 534 Al ist eine Methode und eine Anordnung zum Ausgleich der zeitinvarianten Inhomogenitaten 
20 eines Infrarotdetektors mit einer zweidimensionalen Struktur bekannt. Bei diesem bekannten \fetfahren werden zur Ka- 
librierung der Detektorelemente die Signalantworten unter kontrollierten Bedingungen an einem Schwarzkorperstrahler 
bestinunt und zur Referenz in einer sogenannten Look-Up-Tabelle abgespeichert. Bei der Bilderfassung wird das Ant- 
wortsignal der Detektorelemente mit Hilfe der in der Look-Up-Tabelle abgespeicherten Werte durch Interpolation korri- 
giert. 

25 Aufgabe der Erfindung ist es daher ein Verfahren zum Koirigieren der Grauwerte von Bildem einer digitalen Infrarot- 
Kamera mit einem zweidimensionalen Detektor anzugeben, das im wesentlichen automatisch ablauft und bei dem auch 
die zeitvarianten Inhomogenitaten des Detektors ausgeglichen werden. 

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen der unabhangigen Patentanspriiche gelOst. Die weitere 
Ausgestaltung der Verfahren erfolgt gemass den Merkmalen der abhangigen Anspriiche. 
30 Kurze Beschreibung der Figuren: 

Fig, 1 zeigt das Kennlinienfeld des Detektors. 
Fig. 2 zeigt die Abweichung von der mittleren Kennlinie. 
Fig. 3 zeigt die Struktur der adaptiven dynamischen Korrektur. 
Fig. 4 zeigt ein Strukturbild der Identifikatioa des Abbildungsfehlers. 
35 Fig, 5 zeigt ein Strukturbild der Koeffizientenmodifikation. 

Fig. 6 zeigt ein Strukturbild der Adaption der Offsetkoeffizienten. 

Der Kem des Verfahrens ist darin zu sehen, jedes Pixel an eine mittlere Kennlinie des gesamten Detektorarrays anzu- 
passen. Der Abbildungsfehler durch die Inhomogenitat des Detektorarrays wird vorher durch Referenzmessungen be- 
stinmit. Jedes Pixel wird individuell durch eine Korrektur mit n Koeffizienten korrigiert. Fur die Abweichung der indi- 

40 viduellen Pixelkennlinien von der mittleren Kennlinie wird dabei ein Polynom n-ter Ordnung gewahlt. Die Koeffizienten 
werden durch die Methode kleinster Fehlerquadrate bestimmt. \foraussetzung fur diese Korrekturmethode ist, daB Wech- 
selwirkungen zwischen den Einzelelementen nicht auf treten, bzw. vemachlassigbar sind, da die Korrektur eines Pixels 
unabhangig von Nachbarpixeln durchgefuhrt wird. 

Die Fig. 1 zeigt das Kennlinienfeld eines Detektors. Dabei gilt: 

45 { Uj } : Pixelindi viduelle Kennlinie 

{<U>}: Mittlere Kennlinie des Arrays 

[UjlTk^ gemittelter Wert uber N Messungen bei Temperatur k des Pixels j. 
[<U>]Tk: gemittelter Wert uber N Messungen bei Temperatur k uber alle Pixel 
Das Ziel ist die Anpassung aller individuellen Pixel an die mittlere Kennlinie des Arrays gemass folgender Gleichung, 

{U^}-{<U>}L{0} 

Fur die Abweichung der individuellen Pixelkennlinien von der mittleren Kennlinie wird ein Polynom n-ter Ordnung 
55 gewahlt: 

AC/" =£^.a/)%a^.(t/)"-'+...+a, .C/ + fl^ 

60 Die Messung der Kennlinie erfolgt an k Stiitzstellen. Somit eigibt sich die Abweichung von der mittleren Kennlinie 

bei der Temperatur i: 

[AUj]r^ =[<U >],. -[Uj]r^ ; mit / ^ 1 .. k 
65 Ein Graph dieser Funktion ist in Fig. 2 dargestellL 
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Eraiittlung der Korrekturkoeffizienten 



Die Korrekturkoeffizienten ergeben sich aus der Forderung: 



t[[AU^l-[AUj]r)'^Min. 

ml ^ ' ^ 
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Mit dem Ansatz 
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m=o „ n 



eiglbl sicli eiii lineaies Gleiuhu ugssysLeiii mil ii + 1 Gleichungeii, wobei z. B. mil Hilfe des GauB'schen Eliiiiinaiionsver- — tS" 
fahrens die KoefRzienten bestimmt werden konnen. 

Mit den ermittelten Koeffizienten kann die Koirektur der Pixel voigenonimen werden, Es eigibt sich folgende Korrek- 
turgleichung: 



In der Praxis hat sich ein linearer Ansatz zur Kurvenanpassung als nicht ausreichend herausgestellt. Bin nichtlinearer 
Ansatz ist daher erforderlich. Weiterhin haben sich dafiir nicht nur Ansatze mit Polynomentwicklung mindestens 2. Gra- 
des, sondem auch andere nichtlineare Ansatze z. B. auf Basis von Exponentialfunktionen als geeignet erwiesen. 25 

Die fUr der Korrektur jeden Bildpunktes ermittelten Korrekturkoeffizienten werden in einem Speicher abgelegt und 
zur Korrektur der Grauwerte der vom Detektorsystem erzeugten Bilder herangezogen. In einem geeignten Bildverarbei- 
tungssystem geschieht dies in Echtzeit bei der Darstellung der Bilder auf einem Bildschirm. 

Die Ermittlung der Korrekturwerte fur die oben beschriebene Globale Korrektur im Ortraum erfolgt im wesentlichen 
einmalig bei der Kaiibrierung der Detektorsysteme bei der Hersteilung. Auch konnen Nachkalibrierungen in grosseren 30 
Zeitabstanden, wie z. B. bei Wartungen vorgenommen werden. 

Bei einem nach dem Zuvor beschriebenen Verfahren korrigierten Bildes ist ein Driften der Pixelparameter mit groBen 
Zeitkonstanten im Bereich von Minuten bis zu Stunden erkennbar. Fur den Betrachter der Bilder erscheint der dadurch 
entstehende Bildfehler als fixes Ortsrauschen. 

Die nachfolgend beschriebenen Verfahrensschritte kompensieren die Abbildungsfehler durch ein adaptives Verbes- 35 
sem der Korrekturkoeffizienten jedes Bildpunktes, Basie-end auf der Globalen Korrektur im Ortsraum kann durch eine 
Anpassung der Koeffizienten auf den Driftvorgang der Pixelparameter reagiert werden. 

Das Ziel der dynamischen Korrektur ist es also, den Drifteffekt der Pixelparameter zu kompensieren und eine Neuer- 
mitdung der Korrekturkoeffizienten jedes Bildpunktes an einem Referenzobjekt iiberflussig zu machen. Die Information 
uber den Abbildungsfehler muB dabei unabhangig von der betrachteten Szene sein, da in die Adaption der Koeffizienten 40 
keine Szeneninformation einflieBen darf. 

Das adaptive dynamische Korrekturverfahren basiert auf einer Selbstanpassung der Korrekturkoeffizienten der globa- 
len stationaren Korrektur in regelmaBigen Zeitabstanden. Als stationares Korrekturverfahren wird dabei vorzugsweise 
die Quadratische Korrektur verwendet. Es konnen auch andere nichtiineare Ansatze zur Kurvenanpassung .verwendet 
werden. Die dynamische Korrektur stellt eine geschlossene Iterationsschleife aus den Blocken stationare Korrektur und 45 
Adaption dar, wobei die Adaption aus den Blocken Identifikation, Entscheidung und Modifikation besteht. Uber die 
Identifikation wird aus dem korrigierten Bild eine Information Uber den Abbildungsfehler eines Hnzelpixek unabhSngig 
von der beUrachteten Szene gewonnen. Nach einem EntscheidungsprozeB erfolgt die Modifikation der Koeffizienten mit 
dem Ziel, daB der Abbildungsfehler moglichst schnell gegen Null konveigiert: e — ► 0. 

Die Fig. 3 zeigt ein Ablaufdiagramm der Struktur der adaptiven dynamischen Korrektur. Dabei sind so 
U: Unkorrigiertes Bild 
Uk: Korrigiertes Bild 
K: Korrekturkoeffizienten 
e: Abbildungsfehler 

K': Modifizierte Koeffizienten 55 

Aufgrund der Art des Abbildungsfehlers (Impulsrauschen) ist eine Information aus dem lokalen Umfeld des jeweili- 
gen Pixels zur Identifikation eines Abbildungsfehlers ausreichend. Dabei muB die Szeneninformation unterdruckt wer- 
den, da sie sonst in die Modifikation der Korrekturkoeffizienten einflieBt. 

Ein 3x3-Medianfilter hat sich beim vorliegenden Ausfuhrungsbeispiel des Verfahrens als lokaler Filteroperator beson- 
ders bewahrt. Aus der Differenz des Medianwertes zum Pixel wert wird der Abbildungsfehler bestimmt. 60 

Beim Me^anfilter werden die werte aus dem Umfeld des Pixels j zu einer Zahlenreihe {U^j} der GrSBe nach sortiert, 
wobei gilt U ni-i < U^m < U^m+i- Der Medianfilter liefert den Wert, der in der Mitte der Zahlenreihe steht, zuruck. 
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Uj = M({t/y }| mit Uj Korrigierter Wert des Pixels j und 

Uj Medianwert fur das Pixel j 

Der Abbildungsfehler ergibt sich aus der Differenz des Medianwertes zum Pixelwert: 

= Uj - Uj Bi Abbildungsfehler des Pixels j. . 
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Mit Hilfe des Abbildungsfehlers kann eine Anpassung der Korrekturicoeffizienten vorgenommen werden. 

Es ist weiterhin von Vorteil, wenn der Berechnung des Abbildungsfehlers eine zeitliche Mittelung einer Anzahl von 
Bildern vorrausgeht. Beim vorUegenden AUffuhrUrig^beispiel hat sich eine Mittelung uber eine Grossenordnung von ca 
100 Bildern als ausreichend herausgestellt. 

Die Anpassung der Korrekturkoeffizienten orientiert sich stark an der implementierten Quadratischen Korrektur. 

Die Fig. 4 zeigt ein Strukturbild der Identifikation des Abbildungsfehlers. Die Bedingung fiir eine ideale Identifika- 
tion, namlich keine Information der Szene mitzuliefem, ist real nicht erfiillt. Es hat sich gezeigt, daB vor allem Kanten in 
den Koeffizienten "eingebrannt" werden, und bei einem Szenenwechsel als "Oberlagerung erscheinen. Durch Einfiihrung 
eines Entscheidungsprozesses, der erkennt ob es sich urn Kanten oder Impulsrauschen handelt und die Modifikation der 
Koef&zienten steuert, kanh das vennieden werden werden. 

Als einfaches Entscheidungskriterium, im folgenden als Update-Kriterium bezeichnet, wild die Streuung des Umfel- 
des verwendet, das auch fur die Berechnung des Medianwertes herangezogen wird. Dabei wird die Sorderung der Zah- 
lenreihe, die bei der Ermitdung des Medianwertes notwendig ist, ausgenutzt. 



{u^j} = {u\, uV us, u^, uS, uS, us, uS, u\] 

UVi<U^n,<uUim=1..9 



30 Die Extrcmwerte werden fur das Entscheidungskriterium ausgenonunen. Es gilt dann: 



fep i ^7 ' ^ &j " ^« ? ' ^up : Entscheidungskriterium 

Ein Vergleich zwischen einer Kante und einer Impulsstorung ist in folgender l^belle als Beispiel vereinfacht darge- 
stellt 



Kante: 



impuls: 



1000 


1000 


2000 


1000 


1000 


2000 


1000' 


1000 






1000 


1000 


1000 


1000 


2000 


1000 


1000 


1000 


1000 



Median 

=> M{{ 1, 1, 1, 1, 1, 1, 2, 2, 2 }.10^) 
« 1000 

Median 

=> M({ 1, 1, 1, 1, 1, 1, 1, 1, 2 }.10^) => Ky^^O 

Modifikation 



keine Modifikation 



= 1000 



Die Entscheidung, ob die Koeffizienten modifiziert werden, wird durch Vergleich des Entscheidungskriterium Kup mit 
einem Schwellwert Ks getroffen. tJberschreitet der ermittelte Zahlenwertdes Entscheidungskriteriums Kup den vorgege- 
benen Schwellwert Ks so findet keine Anderung des Korrekturkoeffizienten des betrachteten Bildpunktes statt. 



(a:,,^)^ <(Ks). => Modifikation des Pixels J 



Ks Schwellwert fiir die Modifikadon 

Dieses einfache Kriterium liefert gute Ergebnisse. 

Fur die Erhaltung der Bildgute ist eine Modifikation des Off'setkoeffizienten der Quadradschen Korrektur ausreichend. 
Die Gain- und Quadratkoeffizienten, welche die Steigung bzw. den nichtlinearen Anteil der Abweichung von der mittle- 
ren Kennlinie darstellen, konnen als zeitkonstant betrachtet werden. 

Die einfachste Interpretation des ermittelten Abbildungsfehlers ist die Deutung als Oflfsetfehler der stationaren Kor- 
rektur. Mit einem geeigneten Algorithmus ist damit eine Nachfuhrung der Oflfsetkoeffizienten, die unabhangig von den 
anderen Koeffizienten sind, mogiich. Die Umsetzung liefert gute Ergebnisse und rechtfertigt diese Interpretadon. 

Zur Verbesserung wird im Ausfiihrungsbeispiel ein Integralregler verwendet, u = ki • e. Umgesetzt auf den Offsedco- 
effizient ergibt sich (diskretisiert): 



mit: 
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Oj-: Offsetkoeffizieni des Pixels j 
ej: Abbildungsfehler des Pixels j 
ki: Gewichtung 

Die Fig. 5 zeigt ein Strukturbild der Kocffizientenmodifikation. 5 

Bei dem im Ausfuhrungsbeispiel realisierten Verfahren wurde fur alle Pixel die selbe Gewichtung des Abbildungsfeh- 
lers verwendet. Denkbar ware eine pixelindividuelle Gewichtung, um die Adaption auf das jeweilige Pixel abzustimmen. 
Die Gewichtung bestimmt - zusammen mit der Abtastzeit des Update-Zyklus - die Zeitkonstante, mit der auf einen er- 
mittelten Abbildungsfehler reagiert wird. Dabei bedeudet ki— ► 1 schnelle und ki-* 0 langsame Anpassung. 

Mit alien Komponenten ergibt sich das in Fig. 6 gezeigte S trukturbild der Adaption der OfiFsetkoeffizienten fur den dy- lo 
namischen Teil des Korrekturverfahrens: 

Bei der Realisierung des Korrekturverfahrens hat sich gezeigt, daB zunachst ein hinreichendes, stationares Korrektur- 
verfahren zu implementieren ist. Eine Quadratische Korrektur hat sich aufgrund der auftretenden Nichtlinearitaten zwi- 
schen den PixelkennUnien als notwendig herausgestellt, damit die Restinhomogenitat kleiner als das Zeitrauschen des 
Detektors wird. Bei der Untersuc hung der aufcrecenden dynamischen Bffekte kann ein Driftcn beobachtet werden, daB — TT 
sich unter der Voraussetzung der Quadratischen Korrektur als kompensierbar erweist. Durch die Quadratische Korrektur 
reduzieren sich die durch das Driften entstehenden Inhomogenitaten im wesentlicfaen auf ein raumliches Impulsrau- 
schen, das durch eine lokale Adaption abgefangen werden kann. Entscheidend ist die Tatsache, daB die Information uber 
die Inhomogenitat aus der lokalen Umgebung des Pixels gewonnen werden kann, und oicht eine globale Anpassung wie 
bei der statioaaren Korrektur durchgefiihrt werden mufi. 20 

Das Verfahren nach der Erfindung setzt sich aus einem parameteradaptiven Reglerkonzept mit Identifikation, Ent- 
scheidungsprozeB und Modifikation zusammen. Das adaptive dynamische Korrekturverfahren ermoglicht es, den Detek- 
tor iiber einen weiten Temperaturbereich zu kalibrieren, wobei die Anpassung an den jeweiligen Arbeitsbereich, der sich 
ublicherweise nur iiber wenige Kelvin erstreckt, selbstanpassend durch die Korrektur erfolgt. Ein Problem des Verfah- 
rens bleibt der Rest an Szeneninformation, die bei der Ermittlung des Abbildungsfehlers nicht unterdruckt wird und mit 25 
in die Koeffizienten eingeht. Die Folgen sind das Einfrieren von Kanten und eine Verschmierung von Kanten bei langer 
Betrachtung von fixen Szenen, wobei aber durch die Wahl der Parameter Update-Schwellwert und Gewichtung des Ab- 
bildungsfehlers ein tragbarer KompromiB eingestellt werden kann. 

AbschlieBend laBt sich sagen, dafi mit der vorliegenden Erfindung die Moglichkeit einer langzeitstabilen Korrektur 
von zweidimensionalen Infrarotdetektoren ohne stSndige Neukalibration durch eine thermische Referenzquelle erreicht 30 
wird. 



Patentansprtiche 

1 . Verfahren zum Korrigieren der Grauwerte von Bildem einer digitalen Infrarot-Kamera mit einem zweidimensio- 35 
nalen Detektor, wobei in einem Speicher eines Bildverarbeitungssystems Korrekturkoefifizienten K fur jeden Bild- 
punkt j abgelegt sind, mit folgenden Verfahrensschritten: 

- Erfassen der Grauwerte Uj eines Bildes; 

- Korrigieren der Grauwerte Uj des Bildes mit Hilfe der Korrckturicoeffizienten K und zwischenspeichem der 
korrigerten Grauwerte Ukj; 40 

- Filtem der korrigerten Grauwerte Ukj durch einen lokal wirkenden adaptiven Filter M; 

- Bestimmen des verbleibenden Abbildungsfehlers ej mit Hilfe der Grauwerte Ukj des ungefilterten korriger- 
ten Bildes und der Grauwerte F(Ukj) des gefilterten korrigerten Bildes; 

- Verbessem aller Korrekturkoeffizienten K mit Hilfe des ermittelten verbleibenden Abbildungsfehlers ej; 

- Ablegen der verbesserten Korrekturkoeffizienten K im Speicher des Bildverarbeitungssystems. 45 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daB die Korrekturkoeffizienten K einmalig bei einer 
werkseitigen Kalibrierung an einer thermischen Referenzquelle ermittelt werden. 

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daB zur Kalibrierung folgende Verfahrensschritte auf- 
weist: 

- Bestinunen einer mitderen Grauwertkennhnie <U>(T) fur den Detektor, 50 

- Bestimmen der Korrekturkoeffizienten K der Grauwertkennlinie Uj(T) an die mitdere Grauwertkennlinie 
<U>(T) fur jeden Bildpunkt j mittels eines nichtlinearen Ansatzes zur Kurvenanpassung 

- Ablegen der Korrekturkoeffizienten K im Speicher des Bildverarbeitungssystems zur Korrektur der Grau- 
werte Uj jedes Bildpunktes wahrend dem BeUieiben. 

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daB zur Kurvenanpassung eine Polynomapproximation 55 
zweiter Ordnung verwendet wird. 

5. Verfahren nach einem der Anspriiche 1-4, dadurch gekennzeichnet, daB zur adaptiven Filterung ein 3 x 3 Me- 
dianfilter verwendet wird. 

6. Verfahren nach einem der Anspriiche 1-5, dadurch gekennzeichnet, daB der verbleibende Abbildungsfehler ej 

der Differenz der Grauwerte Ukj des ungefilterten korrigerten BQdes und der Grauwerte F(Ukj) des gefilterten kor- 60 
rigerten Bildes entspricht. 

7. Verfahren nach einem der Anspriiche 1-6, dadurch gekennzeichnet, daB ein zusalzliches Entscheidungskriterium 
Kup fUr jedes Pixel erfuUt sein muss, damit eine Verbesserung des jeweiligen Korrekturkoeffizienten erfolgt. 

Hicrzu 4 Seite(n) Zeichnungen 65 
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Figur 5 struktur der adaptfven dynamlschen Korrektur 
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3x3 Umfeld Medianfilter 
Ffgur 4 strukturblld der identfflkaOon des Abbfldungsfehlers 




Figur 5 strukturblld der Koefflzlentenmodlflkation 
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Zeitliche MIttelung 



3x3 Umfeld 







M() 




H 


Medianfilter 





Kup( ) 



(Kup)j 




Update-Kriterium 

Ffgur 6 strukturblld der Adaption der offsetkoeffizlenten 
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